Настройка очистки истории изменений ассетов
Назначение
Механизм очистки истории изменений позволяет ограничить объём данных, которые хранятся в истории изменений ассетов, и предотвратить неограниченный рост базы данных.
При изменении ассета — создании, изменении или удалении — система сохраняет информацию об изменении в истории. Изменения могут выполняться:
- вручную пользователем;
- сканером;
- автоправилом.
История изменений содержит:
- информацию об ассете;
- тип изменения;
- дату и время изменения;
- связь с запуском автоправила, если изменение было выполнено автоправилом;
- детальное содержимое изменения (
diff).
Поле diff содержит наиболее объёмную часть данных — сведения о состоянии объекта до и после изменения. Именно эти данные в первую очередь увеличивают размер таблицы истории.
Механизм очистки позволяет удалить детальное содержимое старых изменений, сохранив сам факт изменения и необходимую информацию для аудита.
Важно: механизм автоматической очистки отключён по умолчанию. Срок хранения данных определяется при настройке конкретной инсталляции с учётом требований к аудиту и доступного дискового пространства.
Как работает автоматическая очистка
Автоматическая очистка (если включена) состоит из двух последовательных операций.
1. Удаление детального содержимого старых изменений
Для записей, срок хранения которых истёк, система удаляет только содержимое поля diff.
При этом сама запись истории остаётся в базе данных.
Например, после очистки в истории по-прежнему будет видно:
- какой ассет изменился;
- тип изменения;
- дату и время изменения;
- связь с запуском автоправила.
Однако детальная информация о том, какие именно поля были изменены, будет недоступна.
Таким образом, очистка не удаляет саму историю изменений — она удаляет только её наиболее объёмную часть.
2. Удаление изменений остановленных автоправил
Отдельно удаляются записи не примененных изменений, которые были удалены в результате остановки выполнения автоправила.
Такие записи помечаются системой как invalidated.
Если срок их хранения истёк, записи удаляются полностью.
Это позволяет не хранить длительное время изменения, которые были отменены и не представляют дополнительной ценности для аудита.
Когда выполняется очистка
Обе операции выполняются пакетами по 10 000 записей.
Система обрабатывает несколько пакетов последовательно до тех пор, пока все подходящие записи не будут обработаны.
Такой подход позволяет:
- не создавать длительные транзакции;
- не блокировать таблицу на продолжительное время;
- постепенно обрабатывать большие объёмы накопившейся истории.
Если во время очистки возникает ошибка, уже обработанные записи сохраняются. Остальные записи будут обработаны при следующем запуске.
Очистка выполняется не чаще одного раза в 24 часа.
Параметр cleanup_interval определяет только частоту проверки, наступило ли время очередной очистки. Он не определяет фактическую частоту очистки.
При перезапуске asset-manager информация о времени последней очистки сбрасывается. Поэтому после запуска сервиса очередная очистка может выполниться при ближайшей проверке.
Включение ротации
Параметры конфигурации
Параметры очистки настраивается для asset-manager.
| Параметр | Переменная окружения | Значение по умолчанию | Описание |
|---|---|---|---|
retention.enabled | AM_RETENTION_ENABLED | false | Включает или отключает очистку |
retention.assets_changes_days | AM_RETENTION_ASSETS_CHANGES_DAYS | 30 | Срок хранения детального содержимого изменений, в днях |
retention.cleanup_interval | AM_RETENTION_CLEANUP_INTERVAL | 1h | Частота проверки необходимости выполнения очистки |
Значения по умолчанию
Автоматическая очистка выключена по умолчанию.
Если её не включать, история изменений продолжает накапливаться без ограничения срока хранения детального содержимого.
Решение обусловлено тем, что требования к сроку хранения истории могут различаться в зависимости от требований организации к аудиту, комплаенсу и доступному дисковому пространству.
Срок хранения
По умолчанию используется срок 30 дней.
Если значение assets_changes_days задано как 0 или отрицательное число, система использует значение 30 дней.
Включение на инсталляции
Для включения автоматической очистки истории ассетов добавьте в .env, расположенный рядом с docker-compose.yml:
AM_RETENTION_ENABLED=true
При необходимости можно изменить срок хранения:
AM_RETENTION_ENABLED=true
AM_RETENTION_ASSETS_CHANGES_DAYS=30
Если переменная AM_RETENTION_ENABLED отсутствует в asset-manager через docker-compose.yml, добавьте её в environment сервиса:
environment:
- AM_RETENTION_ENABLED=${AM_RETENTION_ENABLED}
После изменения конфигурации пересоздайте контейнер asset-manager:
docker compose up -d asset-manager
Проверка включения
После запуска asset-manager убедитесь, что механизм автоматической запустился.
Для этого выполните:
docker logs <am-container> 2>&1 | grep retention
В выводе должна присутствовать строка:
retention processor started
Она подтверждает, что сервис запустил механизм автоматической очистки.
В строке запуска также отображаются применённые параметры срока хранения и интервала проверки.
Мониторинг выполнения
Результаты каждой очистки записываются в журнал asset-manager.
При успешном выполнении можно увидеть сообщения следующего вида:
retention cleanup started
retention: nullified <N> old diffs (retention: 30 days)
retention: deleted <M> invalidated changes (retention: 30 days)
retention cleanup finished: nullified=<N>, deleted=<M>
Где:
N— количество записей, у которых удалено содержимоеdiff;M— количество удалённых откаченных изменений.
При возникновении ошибок соответствующая информация также записывается в журнал.
Рекомендации по эксплуатации
Первое включение
Если автоматическая очистка включается на уже работающей инсталляции, где история изменений накапливалась продолжительное время, первая очистка может обработать большой объём данных.
Например, при наличии миллионов подходящих записей очистка выполняется последовательно пакетами по 10 000 записей.
Это позволяет избежать длительной блокировки таблицы, однако операция может:
- существенно увеличить нагрузку на WAL;
- занять от нескольких минут до нескольких часов;
- создать дополнительную нагрузку на базу данных.
Поэтому первое включение на большой инсталляции рекомендуется выполнять в период минимальной активности системы.
Освобождение дискового пространства
Автоматическая очистка уменьшает объём фактически используемых данных, но не обязательно сразу уменьшает размер файла таблицы на диске.
После выполнения:
UPDATE ... SET diff = NULL
или удаления записей PostgreSQL освобождает пространство внутри таблицы для последующего повторного использования.
Поэтому после первой масштабной очистки размер файла таблицы на диске может не уменьшиться.
Если требуется физически вернуть свободное место операционной системе, можно использовать:
VACUUM FULL— требует эксклюзивной блокировки таблицы и должен выполняться в сервисное окно;pg_repack— позволяет реорганизовать таблицу с меньшим влиянием на доступность системы.
Важно: не следует выполнять
VACUUM FULLна рабочей системе без предварительной оценки влияния операции и планирования сервисного окна.
Контроль размера истории
Для оценки текущего размера таблицы и количества записей можно выполнить запрос:
SELECT
pg_size_pretty(pg_total_relation_size('asset_manager.assets_changes')) AS total,
pg_size_pretty(pg_relation_size('asset_manager.assets_changes')) AS table_only,
(SELECT count() FROM asset_manager.assets_changes) AS rows,
(SELECT count()
FROM asset_manager.assets_changes
WHERE diff IS NOT NULL) AS rows_with_diff;
Запрос позволяет получить:
| Показатель | Описание |
|---|---|
total | Общий размер таблицы вместе с дополнительными объектами |
table_only | Размер самой таблицы |
rows | Общее количество записей |
rows_with_diff | Количество записей, в которых ещё хранится детальное содержимое изменения |
Примечание: количество строк в таблице продолжит увеличиваться, даже если ротация включена. Ротация ограничивает объём хранимого содержимого изменений, но не ограничивает общее количество записей.
Что происходит с историей после ротации
Рассмотрим изменение ассета, которое произошло более срока хранения.
До очистки:
Изменение ассета
├── дата и время
├── тип изменения
├── информация об ассете
└── diff
├── состояние до изменения
└── состояние после изменения
После очистки:
Изменение ассета
├── дата и время
├── тип изменения
├── информация об ассете
└── diff = NULL
Таким образом, пользователь продолжает видеть факт изменения, но не его детальное содержимое.
Связь с историей запусков автоправил
Автоматическая очистка не удаляет информацию, необходимую для работы истории запусков автоправил.
Связь изменения с соответствующим запуском автоправила сохраняется.
Поэтому после ротации можно продолжать просматривать:
- сам запуск автоправила;
- факт изменения ассета;
- тип изменения;
- дату и время изменения.
Удаляется только детальное содержимое diff.
Ограничения
Автоматическая очистка не является механизмом ограничения количества строк в истории изменений.
Записи, у которых детальное содержимое уже удалено, сохраняются в базе данных.
Поэтому:
- количество строк в таблице продолжает расти;
- размер используемого дискового пространства за счёт
diffограничивается; - освобождённое внутри таблицы пространство может использоваться новыми записями.
Если в дальнейшем потребуется ограничивать также количество записей в истории, это потребует отдельного механизма хранения и удаления данных.
FAQ
Потеряется ли история запусков автоправил?
Нет.
Удаляется только детальное содержимое diff. Сами записи изменений, их тип и связь с запуском автоправила сохраняются.
Поэтому история запусков продолжает работать.
Потеряем ли мы информацию о том, что ассет изменялся?
Нет.
После окончания срока хранения сохраняется сам факт изменения, а также дата, тип изменения и другие метаданные.
Недоступным становится только детальное содержимое изменения.
Почему автоматическая очистка не включена по умолчанию?
Срок хранения истории зависит от требований конкретной инсталляции.
Например, заказчику может потребоваться длительное хранение детальной информации для целей аудита или комплаенса.
Поэтому система не удаляет детальные данные автоматически без явного решения о включении механизма и выборе срока хранения.
Какой срок хранения выбрать?
30 дней — значение по умолчанию, подходящее для типовых сценариев анализа недавних изменений.
Срок можно изменить в зависимости от требований:
- если требуется длительный аудит детальных изменений — срок следует увеличить;
- если дисковое пространство ограничено и детальная история нужна только за небольшой период — срок можно уменьшить.
При этом независимо от выбранного срока сам факт изменения продолжает сохраняться.
Можно ли хранить diff бессрочно, но удалять только отмененные изменения?
Нет.
Отдельной настройки для такого режима нет. При включённом механизме ротации старые diff и старые откаченные изменения обрабатываются в соответствии с заданным сроком хранения.
Что будет, если очистка завершилась с ошибкой?
Уже обработанные записи останутся обработанными.
Записи, которые не удалось обработать, будут доступны для следующего запуска очистки.
Таким образом, частичная ошибка не приводит к откату всей выполненной очистки.
Может ли первая очистка сильно нагрузить базу данных?
Да.
Особенно это актуально для инсталляций, где история изменений долгое время накапливалась без ротации.
В этом случае первая очистка может обработать миллионы записей и создать заметную WAL-нагрузку. Рекомендуется включать механизм в период минимальной активности.
Уменьшится ли размер базы данных на диске сразу после очистки?
Не обязательно.
PostgreSQL может освободить пространство внутри таблицы для повторного использования, но размер файла таблицы на диске при этом может остаться прежним.
Для физического уменьшения файла потребуются отдельные операции, например VACUUM FULL или pg_repack.